渐近等分性 (AEP)
概述
渐近等分性（AEP）是信息论中的核心数学性质：当信源输出足够长的序列时，几乎所有实际出现的序列都集中在一个"典型集"中，该集合大小约为 $2^{nH}$，其中 $H$ 是信源熵。它是信源编码定理证明的基石。
关键内容
定理陈述
对于独立同分布（i.i.d.）的离散信源，当序列长度 $n$ 趋于无穷时：
- 典型序列的概率趋近于 1：几乎所有实际产生的序列都是"典型的"
- 典型集的大小约为 $2^{nH}$：远小于所有可能序列的总数 $s^n$
- 典型序列近似等概率：每个典型序列的概率约为 $2^{-nH}$
直觉解释
假设抛 1000 次公平硬币，所有可能结果有 $2^{1000}$ 种。但"典型"的结果——大约 500 次正面、500 次反面——虽然仍然很多，却远少于全部可能。对于非均匀分布，典型集的比例更加悬殊。
在信源编码中的作用
AEP 直接导出了信源编码定理： - 只需为典型集中的 $2^{nH}$ 个序列分配码字 - 每个码字需要约 $nH$ 比特 - 平均每符号 $H$ 比特——这正是熵率
与大数定律的关系
AEP 本质上是大数定律在信息论中的表述。大数定律说"样本均值趋近期望值"，AEP 说"序列的经验熵趋近真实熵"。两者都是"大量独立随机事件的集体行为高度集中"这一现象的不同表达。
在信道编码中的推广
联合典型性（joint typicality）是 AEP 在多变量情况下的推广，是信道编码定理中随机编码论证的核心解码策略：解码器寻找与接收序列"联合典型"的码字。
来源
- raw/books/计算机科学/02-shannon-mathematical-theory-of-communication.md